Перейти к основному содержимому

Управление LLM (UI & API)

После запуска платформы Compressa, все компоненты будут доступны по одному и тому же URL (8080 по умолчанию)

Например, http://localhost:8080/pod-1

Для управления моделями в Compressa есть несколько компонентов.

Management API​

URL: http://localhost:8080/pod-1/api/

Management API — это REST API для управления моделями.

С его помощью вы можете:

  • Загрузить новую модель в Compressa
  • Запустить модель для инференса
  • Провести дообучение модели
  • И т. д.

Подробное описание доступных команд доступно на странице Management API.

Также доступна документация Swagger, если вам удобнее работать с REST API напрямую из браузера URL: http://localhost:8080/pod-1/api/docs/

Chat UI​

URL: http://localhost:8080/pod-1/chat/

UI Playground для тестирования разных настроек LLM и подбора промптов.

Chat UI

Fine-tuning​

Вы можете дообучать модели с помощью LoRA/QLoRA как с помощью UI интерфейса, так и с помощью REST API. Кроме этого, доступен UI дэшборд для мониторинга процесса дообучения и метрик

Подробнее о процессе дообучения моделей на специальной странице.

http://localhost:8080/pod-1/finetune/ Fine-Tune UI

http://localhost:8080/pod-1/aim-ui/ Training Dashboard